科科|搜索关键词_基于webmagic的爬虫小应用爬取知乎用户信息

篇首语：本文由编程笔记#小编为大家整理，主要介绍了基于webmagic的爬虫小应用--爬取知乎用户信息相关的知识，希望对你有一定的参考价值。

最近跟舍友&＃64;小疯一起研究爬虫
他写了个小应用-CSDN博客爬虫 有兴趣的朋友可以点进去看看哦~
一起学习。
一起进步。
想要源代码的朋友点击这里下载哦~

听到“爬虫”&＃xff0c;是不是第一时间想到python/php &＃xff1f; 多少想玩爬虫的java学习者就因为语言不通而止步。Java是真的不能做爬虫吗&＃xff1f;
当然不是。
只不过python的3行代码能解决的问题&＃xff0c;而Java要30行。

这里推荐大家一个大牛做的java爬虫框架 【WebMagic】
文档简单易懂&＃xff01;java爬虫开发的福利啊&＃xff01;
一起来动手做一个小应用吧&＃xff01;

爬虫小应用–知乎用户信息

爬虫思想有3步
1. 抽取目标链接
2. 抽取需要的信息
3. 处理数据

一、 抽取目标链接 &＃xff08;确定入口地址&＃xff0c;这里的入口是https://www.zhihu.com/search?type&＃61;people&q&＃61;java&＃xff09;

接下来查看html结构&＃xff0c;确定待爬取的目标链接。&＃xff08;这里我的目标链接是【前10个用户的详细信息页面的url】&＃xff09;

二、抽取需要的信息&＃xff08;webmagic提供了3种方式&＃xff0c;xpath&＃xff0c;css选择&＃xff0c;正则表达式。具体可以查看下[WebMagic文档](http://webmagic.io/docs/zh/)&＃xff09;

确定好【目标的信息】&＃xff0c;如下图。

创建对应的实体对象

package entity;
/**
* 知乎用户信息
* &＃64;author antgan
*
*/
public class ZhihuUser
private String key;//keyword
private String name;//用户名
private String identity;//身份
private String location;//所在地
private String profession;//行业
private int sex;//性别
private String school;//学校
private String major;//专业
private String recommend;//个人简介
private String picUrl;//头像url
private int agree;//赞同
private int thanks;//感谢
private int ask;//提问数
private int answer;//回答数
private int article;//文章数
private int collection;//收藏数
public String getKey()
return key;

public void setKey(String key)
this.key &＃61; key;

public String getName()
return name;

public void setName(String name)
this.name &＃61; name;

public String getIdentity()
return identity;

public void setIdentity(String identity)
this.identity &＃61; identity;

public String getLocation()
return location;

public void setLocation(String location)
this.location &＃61; location;

public String getProfession()
return profession;

public void setProfession(String profession)
this.profession &＃61; profession;

public int getSex()
return sex;

public void setSex(int sex)
this.sex &＃61; sex;

public String getSchool()
return school;

public void setSchool(String school)
this.school &＃61; school;

public String getMajor()
return major;

public void setMajor(String major)
this.major &＃61; major;

public String getRecommend()
return recommend;

public void setRecommend(String recommend)
this.recommend &＃61; recommend;

public String getPicUrl()
return picUrl;

public void setPicUrl(String picUrl)
this.picUrl &＃61; picUrl;

public int getAgree()
return agree;

public void setAgree(int agree)
this.agree &＃61; agree;

public int getThanks()
return thanks;

public void setThanks(int thanks)
this.thanks &＃61; thanks;

public int getAsk()
return ask;

public void setAsk(int ask)
this.ask &＃61; ask;

public int getAnswer()
return answer;

public void setAnswer(int answer)
this.answer &＃61; answer;

public int getArticle()
return article;

public void setArticle(int article)
this.article &＃61; article;

public int getCollection()
return collection;

public void setCollection(int collection)
this.collection &＃61; collection;

&＃64;Override
public String toString()
return "ZhihuUser [name&＃61;" &＃43; name &＃43; ", identity&＃61;" &＃43; identity &＃43; ", location&＃61;" &＃43; location &＃43; ", profession&＃61;"
&＃43; profession &＃43; ", sex&＃61;" &＃43; sex &＃43; ", school&＃61;" &＃43; school &＃43; ", major&＃61;" &＃43; major &＃43; ", recommend&＃61;" &＃43; recommend
&＃43; ", picUrl&＃61;" &＃43; picUrl &＃43; ", agree&＃61;" &＃43; agree &＃43; ", thanks&＃61;" &＃43; thanks &＃43; ", ask&＃61;" &＃43; ask &＃43; ", answer&＃61;"
&＃43; answer &＃43; ", article&＃61;" &＃43; article &＃43; ", collection&＃61;" &＃43; collection &＃43; "]";



编写PageProcessor&＃xff08;Processor中的process方法是webmagic的核心&＃xff0c;负责抽取目标url的逻辑&＃xff09;

package repo;
import dao.ZhihuDao;
import dao.impl.ZhihuDaoImpl;
import entity.ZhihuUser;
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;
/**
* 知乎用户小爬虫

* 输入搜索用户关键词(keyword)&＃xff0c;并把搜出来的用户信息爬出来

* &＃64;date 2016-5-3
* &＃64;website ghb.soecode.com
* &＃64;csdn blog.csdn.net/antgan
* &＃64;author antgan
*
*/
public class ZhiHuUserPageProcessor implements PageProcessor
//抓取网站的相关配置&＃xff0c;包括&＃xff1a;编码、抓取间隔、重试次数等
private Site site &＃61; Site.me().setRetryTimes(10).setSleepTime(1000);
//用户数量
private static int num &＃61; 0;
//搜索关键词
private static String keyword &＃61; "JAVA";
//数据库持久化对象&＃xff0c;用于将用户信息存入数据库
private ZhihuDao zhihuDao &＃61; new ZhihuDaoImpl();
/**
* process 方法是webmagic爬虫的核心

* 编写抽取【待爬取目标链接】的逻辑代码在html中。
*/
&＃64;Override
public void process(Page page)
//1. 如果是用户列表页面 【入口页面】&＃xff0c;将所有用户的详细页面的url放入target集合中。
if(page.getUrl().regex("https://www\\\\.zhihu\\\\.com/search\\\\?type&＃61;people&q&＃61;[\\\\s\\\\S]&＃43;").match())
page.addTargetRequests(page.getHtml().xpath("//ul[&＃64;class&＃61;&＃39;list users&＃39;]/li/div/div[&＃64;class&＃61;&＃39;body&＃39;]/div[&＃64;class&＃61;&＃39;line&＃39;]").links().all());

//2. 如果是用户详细页面
else
num&＃43;&＃43;;//用户数&＃43;&＃43;
/*实例化ZhihuUser&＃xff0c;方便持久化存储。*/
ZhihuUser user &＃61; new ZhihuUser();
/*从下载到的用户详细页面中抽取想要的信息&＃xff0c;这里使用xpath居多*/
/*为了方便理解&＃xff0c;抽取到的信息先用变量存储&＃xff0c;下面再赋值给对象*/
String name &＃61; page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;title-section ellipsis&＃39;]/span[&＃64;class&＃61;&＃39;name&＃39;]/text()").get();
String identity &＃61; page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;title-section ellipsis&＃39;]/span[&＃64;class&＃61;&＃39;bio&＃39;]/&＃64;title").get();
String location &＃61; page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;item editable-group&＃39;]/span[&＃64;class&＃61;&＃39;info-wrap&＃39;]/span[&＃64;class&＃61;&＃39;location item&＃39;]/&＃64;title").get();
String profession &＃61; page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;item editable-group&＃39;]/span[&＃64;class&＃61;&＃39;info-wrap&＃39;]/span[&＃64;class&＃61;&＃39;business item&＃39;]/&＃64;title").get();
boolean isMale &＃61; page.getHtml().xpath("//span[&＃64;class&＃61;&＃39;item gender&＃39;]/i[&＃64;class&＃61;&＃39;icon icon-profile-male&＃39;]").match();
boolean isFemale &＃61; page.getHtml().xpath("//span[&＃64;class&＃61;&＃39;item gender&＃39;]/i[&＃64;class&＃61;&＃39;icon icon-profile-female&＃39;]").match();
int sex &＃61; -1;
/*因为知乎有一部分人不设置性别 或者 不显示性别。所以需要判断一下。*/
if(isMale&&!isFemale) sex&＃61;1;//1代表男性
else if(!isMale&&isFemale) sex&＃61;0;//0代表女性
else sex&＃61;2;//2代表未知
String school &＃61; page.getHtml().xpath("//span[&＃64;class&＃61;&＃39;education item&＃39;]/&＃64;title").get();
String major &＃61; page.getHtml().xpath("//span[&＃64;class&＃61;&＃39;education-extra item&＃39;]/&＃64;title").get();
String recommend &＃61; page.getHtml().xpath("//span[&＃64;class&＃61;&＃39;fold-item&＃39;]/span[&＃64;class&＃61;&＃39;content&＃39;]/&＃64;title").get();
String picUrl &＃61; page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;body clearfix&＃39;]/img[&＃64;class&＃61;&＃39;Avatar Avatar--l&＃39;]/&＃64;src").get();
int agree &＃61; Integer.parseInt(page.getHtml().xpath("//span[&＃64;class&＃61;&＃39;zm-profile-header-user-agree&＃39;]/strong/text()").get());
int thanks &＃61; Integer.parseInt(page.getHtml().xpath("//span[&＃64;class&＃61;&＃39;zm-profile-header-user-thanks&＃39;]/strong/text()").get());
int ask &＃61; Integer.parseInt(page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;profile-navbar clearfix&＃39;]/a[2]/span[&＃64;class&＃61;&＃39;num&＃39;]/text()").get());
int answer &＃61; Integer.parseInt(page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;profile-navbar clearfix&＃39;]/a[3]/span[&＃64;class&＃61;&＃39;num&＃39;]/text()").get());
int article &＃61; Integer.parseInt(page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;profile-navbar clearfix&＃39;]/a[4]/span[&＃64;class&＃61;&＃39;num&＃39;]/text()").get());
int collection &＃61; Integer.parseInt(page.getHtml().xpath("//div[&＃64;class&＃61;&＃39;profile-navbar clearfix&＃39;]/a[5]/span[&＃64;class&＃61;&＃39;num&＃39;]/text()").get());
//对象赋值
user.setKey(keyword);
user.setName(name);
user.setIdentity(identity);
user.setLocation(location);
user.setProfession(profession);
user.setSex(sex);
user.setSchool(school);
user.setMajor(major);
user.setRecommend(recommend);
user.setPicUrl(picUrl);
user.setAgree(agree);
user.setThanks(thanks);
user.setAsk(ask);
user.setAnswer(answer);
user.setArticle(article);
user.setCollection(collection);
System.out.println("num:"&＃43;num &＃43;" " &＃43; user.toString());//输出对象
zhihuDao.saveUser(user);//保存用户信息到数据库


&＃64;Override
public Site getSite()
return this.site;

public static void main(String[] args)
long startTime ,endTime;
System.out.println("&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;知乎用户信息小爬虫【启动】喽&＃xff01;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;");
startTime &＃61; new Date().getTime();
//入口为&＃xff1a;【https://www.zhihu.com/search?type&＃61;people&q&＃61;xxx 】&＃xff0c;其中xxx 是搜索关键词
Spider.create(new ZhiHuUserPageProcessor()).addUrl("https://www.zhihu.com/search?type&＃61;people&q&＃61;"&＃43;keyword).thread(5).run();
endTime &＃61; new Date().getTime();
System.out.println("&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;知乎用户信息小爬虫【结束】喽&＃xff01;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;&＃61;");
System.out.println("一共爬到"&＃43;num&＃43;"个用户信息&＃xff01;用时为&＃xff1a;"&＃43;(endTime-startTime)/1000&＃43;"s");



三、处理数据 &＃xff08;这里我存储在本地数据库中&＃xff09;

Dao层接口

package dao;
import entity.ZhihuUser;
/**
* 知乎 数据持久化 接口
* &＃64;author 甘海彬
*
*/
public interface ZhihuDao
/**
* 保存用户信息
* &＃64;param user
* &＃64;return
*/
public int saveUser(ZhihuUser user);


Dao实现类

package dao.impl;
import java.util.ArrayList;
import java.util.List;
import dao.ZhihuDao;
import entity.ZhihuUser;
import util.DBHelper;
/**
* 知乎 数据库持久化接口 实现
* &＃64;author 甘海彬
*
*/
public class ZhihuDaoImpl implements ZhihuDao
&＃64;Override
public int saveUser(ZhihuUser user)
DBHelper dbhelper &＃61; new DBHelper();
StringBuffer sql &＃61; new StringBuffer();
sql.append("INSERT INTO spider_zhihu_user ( &＃96;key&＃96;,&＃96;name&＃96;,identity,location,profession,sex,school,major,recommend,picUrl,agree,thanks,ask,answer,article,collection)")
//&＃96;key&＃96;,&＃96;name&＃96;,identity,location,profession,sex,school,major,recommend,picUrl,agree,thanks,ask,answer,article,collection
.append("VALUES (? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? , ? ) ");
//设置 sql values 的值
List sqlValues &＃61; new ArrayList<>();
sqlValues.add(user.getKey());
sqlValues.add(user.getName());
sqlValues.add(user.getIdentity());
sqlValues.add(user.getLocation());
sqlValues.add(user.getProfession());
sqlValues.add(""&＃43;user.getSex());
sqlValues.add(user.getSchool());
sqlValues.add(user.getMajor());
sqlValues.add(user.getRecommend());
sqlValues.add(user.getPicUrl());
sqlValues.add(""&＃43;user.getAgree());
sqlValues.add(""&＃43;user.getThanks());
sqlValues.add(""&＃43;user.getAsk());
sqlValues.add(""&＃43;user.getAnswer());
sqlValues.add(""&＃43;user.getArticle());
sqlValues.add(""&＃43;user.getCollection());
try
int result &＃61; dbhelper.executeUpdate(sql.toString(),sqlValues);
catch(Exception e)
finally
dbhelper.close();

return result;



这里我封装了个DbHelpler类&＃xff0c;方便进行持久化操作&＃xff0c;使用单例模式&＃xff0c;并线程同步。

package util;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.List;
/**
* JDBC通用类
* &＃64;author GANAB
*
*/
public class DBHelper
public static final String driver_class &＃61; "oracle.jdbc.OracleDriver";
public static final String driver_url &＃61; "jdbc:oracle:thin:&＃64;ita-031-w7:1521:xe";
public static final String user &＃61; "abel";
public static final String password &＃61; "123";
private static Connection conn &＃61; null;
private PreparedStatement pst &＃61; null;
private ResultSet rst &＃61; null;
public DBHelper()
try
conn &＃61; getConnInstance();
catch (Exception e)
e.printStackTrace();


private Connection getConnInstance()
if(conn &＃61;&＃61; null)
try
Class.forName(driver_class);
conn &＃61; DriverManager.getConnection(driver_url, user, password);
catch (ClassNotFoundException e)
e.printStackTrace();
catch (SQLException e)
e.printStackTrace();

System.out.println("Connect success.");

return conn;

public void close()
try
if (pst !&＃61; null)
this.pst.close();

if (rst !&＃61; null)
this.rst.close();

if (conn !&＃61; null)
conn.close();

System.out.println("Close connection success.");
catch (SQLException e)
e.printStackTrace();


/**
* query
*
* &＃64;param sql
* &＃64;param sqlValues
* &＃64;return ResultSet
*/
public ResultSet executeQuery(String sql, List sqlValues)
try
pst &＃61; conn.prepareStatement(sql);
if (sqlValues !&＃61; null && sqlValues.size() > 0)
setSqlValues(pst, sqlValues);

rst &＃61; pst.executeQuery();
catch (SQLException e)
e.printStackTrace();

return rst;

/**
* update
*
* &＃64;param sql
* &＃64;param sqlValues
* &＃64;return result
*/
public int executeUpdate(String sql, List sqlValues)
int result &＃61; -1;
try
pst &＃61; conn.prepareStatement(sql);
if (sqlValues !&＃61; null && sqlValues.size() > 0)
setSqlValues(pst, sqlValues);

result &＃61; pst.executeUpdate();
catch (SQLException e)
e.printStackTrace();

return result;

/**
* sql set value
*
* &＃64;param pst
* &＃64;param sqlValues
*/
private void setSqlValues(PreparedStatement pst, List sqlValues)
for (int i &＃61; 0; i try
pst.setObject(i &＃43; 1, sqlValues.get(i));
catch (SQLException e)
e.printStackTrace();





噢&＃xff01;对了&＃xff01;表的创建sql也提供一下&＃xff01;

CREATE TABLE &＃96;spider_zhihu_user&＃96; (
&＃96;id&＃96; int(11) NOT NULL AUTO_INCREMENT,
&＃96;key&＃96; varchar(30) DEFAULT NULL,
&＃96;name&＃96; varchar(30) DEFAULT NULL,
&＃96;identity&＃96; varchar(100) DEFAULT NULL,
&＃96;location&＃96; varchar(20) DEFAULT NULL,
&＃96;profession&＃96; varchar(30) DEFAULT NULL,
&＃96;sex&＃96; int(2) DEFAULT NULL,
&＃96;school&＃96; varchar(30) DEFAULT NULL,
&＃96;major&＃96; varchar(30) DEFAULT NULL,
&＃96;recommend&＃96; varchar(100) DEFAULT NULL,
&＃96;picUrl&＃96; varchar(255) DEFAULT NULL,
&＃96;agree&＃96; int(11) DEFAULT NULL,
&＃96;thanks&＃96; int(11) DEFAULT NULL,
&＃96;ask&＃96; int(11) DEFAULT NULL,
&＃96;answer&＃96; int(11) DEFAULT NULL,
&＃96;article&＃96; int(11) DEFAULT NULL,
&＃96;collection&＃96; int(11) DEFAULT NULL,
PRIMARY KEY (&＃96;id&＃96;)
) ENGINE&＃61;InnoDB AUTO_INCREMENT&＃61;104 DEFAULT CHARSET&＃61;utf8;

以上就是全部代码。

进行测试。

完美~

你知道可以拿这些数据做什么呢&＃xff1f;
科科&＃xff0c;我也不知道。